数据湖之Hudi（9）：使用Spark向Hudi中插入数据
目录0. 相关文章链接1. 开发说明2. 环境构建2.1. 构建服务器环境2.2. 构建Maven项目3. Maven依赖4. 核心代码0. 相关文章链接大数据基础知识点 文章汇总1. 开发说明Apache Hudi最初是由Uber开发的，旨在以高效率实现低延迟的数据库访问。Hudi 提供了Hudi
Flink查询关联Hbase输出
1、前言大家在开发Flink的时候，很多时候会把某些固定的维度信息存储在Hbase或者Redis等这些第三方库里，已方便来跟流发生关联查询输出。本文将从如何本地搭建一个Hbase环境开始讲起，到如何构建一个Hbase公共调用类，到如何构建一个异步调用Hbase的公共代码，再到最后实际调用代码后的输出
大数据场景下的消息队列：Kafka3.0快速入门
大数据场景下的消息队列：Kafka3.0快速入门
Spark环境搭建（保姆级教程）
Spark 是一个大规模数据处理的统一分析引擎本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。文末有相应资源下载网盘链接。
Flink旁路输出特性简单实例：按照股价对股票进行数据分流并写出到文本文件
关于旁路输出的官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/side_output/除了由 DataStream 操作产生的主要流之外，我们还可以产生任意数量的旁路输出结果
入门ClickHouse和Elasticsearch
❄️大多数同学都知道数据有mysql、mongodb、oracle、nosql等等，这些是我们在学校能接触到最多的数据库,今天我们就来认识2个企业中比较常用的数据库clickhouse和elasticsearch。对大数据感兴趣的同学可以参考下面的文章👇:hadoop专题: hadoop系列文章.
云原生与大数据、AIoT、开源的碰撞之路——专访小米崔宝秋
类似于云原生+大数据这样技术的“强强联合”将成为云原生时代的发展趋势，运维和基础软件开发者、服务端和前端开发者所关注的技术点各有不同。
Hadoop：HDFS总结
Hadoop：HDFS总结HDFS架构NameNode(nn): 管理文件的元数据，如文件名、文件目录结构、文件属性等信息【NN运行时，元数据是存储在内存中，从而保证响应时间】元数据只保留在内存中是非常不可靠的，所以也需要持久化到磁盘。NN内部有两类文件用于持久化元数据：fsimage文件，以fsi
PySpark求解连通图问题
前文回顾：PySpark与GraphFrames的安装与使用https://xxmdmst.blog.csdn.net/article/details/123009617networkx快速解决连通图问题https://xxmdmst.blog.csdn.net/article/details/12
一篇解析论文MapReduce
一篇解析论文MapReduce，这样你也可以和面试官“讲一讲”
PySpark与GraphFrames的安装与使用
pandas快速升级到spark，简单丝滑，值得拥有。
Hadoop（三）HDFS 原理
HDFS核心的设计思想 HDFS 集群中，主要的角色有 NameNode 和 DataNode 两大角色 （SecondaryNamenode 和 Client）； NameNode 负责管理文件系统的元数据，并响应 Client 的请求； DataNode 负责存储用户的文件块（block）
Hadoop（二）介绍HDFS
HDFS的简单介绍
阿里字节快手哔站2022年最新版大数据知识点总结
大家好，我是土哥。昨天有读者问土哥有没有总结所有文章，说他想看看，复习复习~所以，今天趁着周六，就花费了几个小时，将所有文章全部总结成 PDF 文档，这些文档已经帮助多位读者成功入职大厂。读者入职大厂1 读者入职阿里云2 读者入职网易3 读者入职 美团啦4 读者入职 顺丰科技土哥所有文章土哥校招提前
SQL-集合运算
什么是集合运算表的加法—— UNION集合运算的注意事项选取表中公共部分—— INTERSECT记录的减法—— EXCEPT
elasticsearch系统学习笔记9-聚合分析 Aggregations
elasticsearch系统学习笔记9-聚合分析 Aggregations概念分类指标聚合数据准备max 统计最大值min 统计最小值value_count 统计文档数量cardinality 基数统计（统计去重后的文档数量）avg 计算平均值sum 计算总和stats 基本统计extended_
08、Hadoop框架HDFS HA 的高可用
Hadoop框架HDFS HA 的高可用
04、Hadoop框架HDFS NN、SNN、DN工作原理
Hadoop框架HDFS NN、SNN、DN工作原理
spark运行架构和基础
基本 概念RDD:(官方概念）弹性分布式数据集，就是一个个的在内存里的数据。就是数据的基本单位，所有spark都是来操作他的 DAG 是有向无环图，它的作用主要是反应rdd之间的关系。 Excutor 就是一个容器，就像Hadoop的node一样，用来运行的 应用 顾名思义来编写spark程序的 任
06、Hadoop框架HDFS读写流程
Hadoop框架HDFS读写流程
